最近，为了提高无监督的图像检索性能，通过设计语义相似性矩阵提出了许多无监督的哈希方法，该方法基于预先训练的CNN模型提取的图像功能之间的相似性。但是，这些方法中的大多数倾向于忽略图像中包含的高级抽象语义概念。直观地，概念在计算图像之间的相似性中起着重要作用。在实际情况下，每个图像都与某些概念相关联，如果两个图像共享更相同的概念，则两个图像之间的相似性将更大。受到上述直觉的启发，在这项工作中，我们提出了一种带有语义概念挖掘的新颖无监督的散列散布，称为UHSCM，该挖掘利用VLP模型来构建高质量的相似性矩阵。具体而言，首先收集一组随机选择的概念。然后，通过使用及时的工程进行视觉预审进（VLP）模型，该模型在视觉表示学习中表现出强大的力量，根据训练图像将一组概念降低。接下来，提出的方法UHSCM应用了VLP模型，并再次提示挖掘每个图像的概念分布，并基于挖掘的概念分布构建高质量的语义相似性矩阵。最后，以语义相似性矩阵作为指导信息，提出了一种新颖的散列损失，并提出了基于对比度损失的正则化项，以优化哈希网络。在三个基准数据集上进行的大量实验表明，所提出的方法在图像检索任务中优于最新基准。

时间动作本地化旨在预测未修剪长视频中每个动作实例的边界和类别。基于锚或建议的大多数先前方法忽略了整个视频序列中的全局本地上下文相互作用。此外，他们的多阶段设计无法直接生成动作边界和类别。为了解决上述问题，本文提出了一种新颖的端到端模型，称为自适应感知变压器（简称apperformer）。具体而言，Adaperformer探索了双支球多头的自我发项机制。一个分支会照顾全球感知的关注，该注意力可以模拟整个视频序列并汇总全球相关环境。而其他分支集中于局部卷积转移，以通过我们的双向移动操作来汇总框架内和框架间信息。端到端性质在没有额外步骤的情况下产生视频动作的边界和类别。提供了广泛的实验以及消融研究，以揭示我们设计的有效性。我们的方法在Thumos14数据集上实现了最先进的准确性（根据map@0.5、42.6 \％map@0.7和62.7 \％map@avg），并在活动网络上获得竞争性能， -1.3数据集，平均地图为36.1 \％。代码和型号可在https://github.com/soupero/adaperformer上找到。

深度学习的繁荣有助于场景文本检测的快速进步。在所有具有卷积网络的方法中，基于细分的方法在检测任意形状和极端纵横比的文本实例方面的优越性，引起了广泛的关注。但是，自下而上的方法仅限于其分割模型的性能。在本文中，我们提出了DPTNET（双路线变压器网络），这是一种简单而有效的体系结构，可为场景文本检测任务建模全局和本地信息。我们进一步提出了一种平行的设计，将卷积网络与强大的自我发场机制相结合，以在注意力路径和卷积路径之间提供互补的线索。此外，开发了两个路径上的双向相互作用模块，以提供通道和空间尺寸的互补线索。我们还通过向其添加额外的多头注意力层来升级集中操作。我们的DPTNET在MSRA-TD500数据集上实现了最先进的结果，并就检测准确性和速度提供了其他标准基准的竞争结果。

随着电子商务行业的繁荣，将各种方式（例如愿景和语言）用于描述产品项目。了解这种多样化的数据是一个巨大的挑战，尤其是通过有用的图像区域提取文本序列中的属性值对。尽管以前的一系列作品已致力于这项任务，但很少有人研究障碍，阻碍了进一步的进一步改进：1）上流单模式预处理的参数不足，而无需在下游多人中进行适当的合理微调。 - 模式任务。 2）要选择图像的描述性部分，不管先验的信息应通过更强的编码器将与语言相关的信息编码为常见的语言嵌入空间，从而广泛应用了简单的晚期融合。 3）由于产品之间的多样性，它们的属性集往往差异很大，但是当前的方法以不必要的最大范围预测，并带来更多潜在的假阳性。为了解决这些问题，我们在本文中提出了一种新颖的方法，可以通过统一学习方案和动态范围最小化提高多模式电子商务属性的价值提取：1）首先，统一方案旨在共同培训多模式任务带有预审计的单模式参数。 2）其次，提出了一种文本引导的信息范围最小化方法，以将每种模态的描述性部分自适应地编码为具有强大审慎的语言模型的相同空间。 3）此外，提出了一种原型引导的属性范围最小化方法，以首先确定当前产品的适当属性集，然后选择原型以指导所选属性的预测。关于流行的多模式电子商务基准的实验表明，我们的方法比其他最新技术的方法更出色。

在本报告中，我们建议针对四个EGO4D挑战任务，包括自然语言查询（NLQ），MOMMER QUERY（MQ），对象状态变更分类（OSCC），以及PNR定位（PNR）。尤其是，我们将最近发布的EGO4D数据集\ cite {grauman2021ego4d}从预处理数据集，预处理目标和开发集中从egecentric vlp中提升。基于上述三个设计，我们开发了一个验证的视频语言模型，该模型能够将其以自我为中心的视频文本表示或仅视频表示形式转移到几个视频下游任务中。我们的Egentric VLP在NLQ上实现10.46r@1&iou @0.3，MQ上的10.33地图，OSCC上的74％ACC，PNR上的0.67秒错误。该代码可在https://github.com/showlab/egovlp上找到。

在本报告中，我们为Epic-kitchens-100多实体检索（miR）挑战提出了一个基于视频的预处理（VLP）解决方案\ cite {kevin202222222egovlp}。尤其是，我们将最近发布的EGO4D数据集\ cite {grauman2021ego4d}从预处理数据集，预处理目标和开发集中从egecentric vlp中提升。基于上述三个设计，我们开发了一个预验证的视频语言模型，该模型能够将其自我为中心的视频文本表示为mir基准。此外，我们设计了一种自适应多构度最大损失，以有效地微调模型并为可靠的推理配备双重效果技术。我们最好的单个模型在挑战测试集上获得了强劲的性能，其中47.39％的地图和61.44％的NDCG。该代码可在https://github.com/showlab/egovlp上找到。

Text-Video Retrieval plays an important role in multi-modal understanding and has attracted increasing attention in recent years. Most existing methods focus on constructing contrastive pairs between whole videos and complete caption sentences, while overlooking fine-grained cross-modal relationships, e.g., clip-phrase or frame-word. In this paper, we propose a novel method, named Hierarchical Cross-Modal Interaction (HCMI), to explore multi-level cross-modal relationships among video-sentence, clip-phrase, and frame-word for text-video retrieval. Considering intrinsic semantic frame relations, HCMI performs self-attention to explore frame-level correlations and adaptively cluster correlated frames into clip-level and video-level representations. In this way, HCMI constructs multi-level video representations for frame-clip-video granularities to capture fine-grained video content, and multi-level text representations at word-phrase-sentence granularities for the text modality. With multi-level representations for video and text, hierarchical contrastive learning is designed to explore fine-grained cross-modal relationships, i.e., frame-word, clip-phrase, and video-sentence, which enables HCMI to achieve a comprehensive semantic comparison between video and text modalities. Further boosted by adaptive label denoising and marginal sample enhancement, HCMI achieves new state-of-the-art results on various benchmarks, e.g., Rank@1 of 55.0%, 58.2%, 29.7%, 52.1%, and 57.3% on MSR-VTT, MSVD, LSMDC, DiDemo, and ActivityNet, respectively.

跨模型检索已成为仅限文本搜索引擎（SE）最重要的升级之一。最近，通过早期交互的成对文本图像输入的强大表示，Vision-Language（VL）变压器的准确性已经表现优于文本图像检索的现有方法。然而，当使用相同的范例来推理时，VL变压器的效率仍然太低，不能应用于真正的跨模型SE。通过人类学习机制和使用跨模型知识的启发，本文提出了一种新颖的视觉语言分解变压器（VLDEFormer），这大大提高了VL变压器的效率，同时保持了它们的出色准确性。通过所提出的方法，跨模型检索分为两个阶段：VL变压器学习阶段和V​​L分解阶段。后期阶段发挥单一模态索引的作用，这在某种程度上是文本SE的术语索引。该模型从早期交互预训练中学习跨模型知识，然后将其分解为单个编码器。分解只需要监督和达到1000美元+ $倍的小目标数据集，并且少于0.6美元\％平均召回。 VLDEFormer还优于COCO和FLICKR30K的最先进的视觉语义嵌入方法。

In this paper, we propose a robust 3D detector, named Cross Modal Transformer (CMT), for end-to-end 3D multi-modal detection. Without explicit view transformation, CMT takes the image and point clouds tokens as inputs and directly outputs accurate 3D bounding boxes. The spatial alignment of multi-modal tokens is performed implicitly, by encoding the 3D points into multi-modal features. The core design of CMT is quite simple while its performance is impressive. CMT obtains 73.0% NDS on nuScenes benchmark. Moreover, CMT has a strong robustness even if the LiDAR is missing. Code will be released at https://github.com/junjie18/CMT.

Knowledge graphs (KG) have served as the key component of various natural language processing applications. Commonsense knowledge graphs (CKG) are a special type of KG, where entities and relations are composed of free-form text. However, previous works in KG completion and CKG completion suffer from long-tail relations and newly-added relations which do not have many know triples for training. In light of this, few-shot KG completion (FKGC), which requires the strengths of graph representation learning and few-shot learning, has been proposed to challenge the problem of limited annotated data. In this paper, we comprehensively survey previous attempts on such tasks in the form of a series of methods and applications. Specifically, we first introduce FKGC challenges, commonly used KGs, and CKGs. Then we systematically categorize and summarize existing works in terms of the type of KGs and the methods. Finally, we present applications of FKGC models on prediction tasks in different areas and share our thoughts on future research directions of FKGC.